#include <fermat/parser/tokenizer.h>
#include <fermat/parser/attr_token.h>


using fermat::StreamTokenizer;
using fermat::WhitespaceToken;


namespace fermat {
namespace parser {


Tokenizer::Tokenizer(std::istream& istr):
	StreamTokenizer(istr)	
{
	addToken(new OperatorToken);
	addToken(new IdentifierToken);
	addToken(new StringLiteralToken);
	addToken(new CharLiteralToken);
	addToken(new NumberLiteralToken);
	addToken(new CommentToken, false);
	addToken(new PreprocessorToken);
	addToken(new WhitespaceToken);
}


Tokenizer::~Tokenizer()
{
}


}
} 